孔庙主体建筑大成殿系典型的明清古建筑结构，重檐斗拱，红墙碧瓦，酷似天安门城楼。大成殿内，过去曾供奉着“大成至圣先师文宣王孔子”之牌位，如今牌位不存，取而代之的是神态毕肖的孔子塑像。大成殿后面是崇圣殿，因其珍藏过许多儒家经典等珍贵古籍，故又称“尊经阁”。今已改造成豪华典雅的小型会议室。两殿前两侧的四间厢房，已被学校充分利用，建成了校史陈列室和教育教学成果展览室。由大成殿走下台阶，穿过庭院，便是大成门。门前悬挂着一块红底黑字金边的横匾，上书“大成门”三个大字。由大成门往外走，便是雄稳的麻石牌坊——棂星门。棂星门由六根直立方型石柱和15根横方石梁结构而成，相互对称。每根直立石柱的顶端都蹲着一小石狮，虎虎有生气。其雕工不能说精细，但不粗疏，形态不能说伟岸，但不萎缩，遵循中庸之道。昔日棂星门前，还有状元桥。状元桥是一座两边用石栏杆围护的石拱桥，横跨在荷花池上。荷花池前面左右都由红粉青砖围墙护着，内有一块半圆形的空坪。左右围墙都有门，平日关闭，只有在举行重大祭祀活动时才打开。左门外左侧墙上嵌刻有“文武官员，到此下马”字样的石碑。相传只有高中的状元才有资格登上状元桥，穿过棂星门，脚踩大成殿前坪之下用大理石雕刻而成的“游龙出海”图案上的昂首龙头，直奔大成殿。如今，状元桥没有了，荷花池也被填平建成了有着400米跑道的标准运动场。这古老的传说也就成了脍炙人口的历史轶闻。

数千年来，孔子一直被奉为中国文化的传播者，文庙就是文明的象征。历代封建帝王对孔子无不顶礼膜拜，代代加封。湘乡文庙正厅的大成殿就曾建有“先师孔子赞”和“四大贤赞”两座御碑，还悬有多种御赐扁额，计有康熙二十二年(1683)颁“万世师表”匾；雍正元年(1723)颁“先民未有”匾；乾隆元年(1736)颁“与天地参”匾；嘉庆四年(1799)颁“圣集大成”匾；道光元年(1736)颁“圣协时中”匾；咸丰元年(1851)颁“德齐帱载”匾；同治二年(1863)颁“圣神天纵”匾。真乃“天不生仲尼，万古如长夜”啊。现在，湘乡孔庙因其独特的建筑、精巧的雕刻和悠久的历史而被列为湖南省重点文物保护单位。